Olof Palme thường được thấy đi lại không có sự che chở của vệ sĩ, và đêm mà ông ta bị ám sát cũng vậy. Từ một rạp cinema đi bộ về nhà với bà vợ Lisbet Palme trên đường phố Sveavägen ở trung tâm Stockholm, lúc gần nửa đêm ngày 28.2.1986, cặp vợ chồng này đã bị một tay súng tấn công. Palme đã trúng viên đạn chí tử từ lưng lúc gần 23 giờ 21 (giờ CET). Một phát súng thứ hai làm cho bà Lisbet Palme bị thương. Cho tới năm 2009, vẫn chưa tìm ra thủ phạm vụ mưu sát này.

Cảnh sát cho biết một người tài xế taxi đã dùng máy radio di động của mình để báo động. Hai cô gái trẻ ngồi trong một xe gần nơi tai nạn cũng đã tới cứu giúp thủ tướng. Ông được đưa gấp vào bệnh viện Sabbatsberg (Sabbatsbergs sjukhus) nhưng đã được loan báo là đã từ trần khi tới bệnh viện, lúc 00 giờ 06 (giờ CET) ngày 1.3.1986. Bà Palme chỉ bị thương, đã được chữa lành.

Phó thủ tướng Ingvar Carlsson lập tức đảm nhiệm chức thủ tướng và chức lãnh tụ mới của đảng Dân chủ Xã hội thay Olof Palme.